当量化神经网络以进行有效推断时，低位整数是效率的首选格式。但是，低位浮点数具有额外的自由度，分配了一些以指数级的工作。本文深入研究了神经网络推断的浮点格式的这种好处。我们详细介绍了可以为FP8格式做出的选择，包括对Mantissa和Exponent的位数的重要选择，并通过分析显示这些选择可以提供更好的性能。然后，我们展示了这些发现如何转化为真实网络，为FP8模拟提供有效的实现，以及一种新算法，该算法能够学习比例参数和FP8格式中的指数位数。我们的主要结论是，在对各种网络进行培训后量化时，就准确性而言，FP8格式优于INT8，并且指数位数量的选择是由网络中异常值的严重性驱动的。我们还通过量化感知训练进行实验，在训练网络以降低离群值的效果时，格式的差异消失。
translated by 谷歌翻译
尽管诸如HRNET之类的语义细分的最新架构表现出了令人印象深刻的准确性，但其出色的设计选择引起的复杂性阻碍了一系列模型加速工具，并且进一步利用了对当前硬件效率低下的操作。本文表明，具有类似于重新连接的主链和一个小的多尺度的简单编码器架构，比复杂的语义分割体系结构（例如HRNET，fovenet和ddrnets）表现出PAR或更好。由于这些骨干的有效接收场小得多，因此天真地将设计用于图像分类的深层骨架用于语义分割的任务会导致低于PAR的结果。在HRNET，DDRNET和FANET等作品中提出的各种设计选择中，隐含的是具有较大有效接收场的网络。自然要问一个简单的编码器架构是否会比较如果没有较大的有效接受场的骨架，尽管不使用效率低下的操作（例如扩张的卷积）。我们表明，通过对重新结构进行较小且廉价的修改，可以为语义分割创建非常简单和竞争的基线。我们为台式机和移动目标提供了如此简单的体系结构的家庭，它们匹配或超过CityScapes数据集中复杂模型的性能。我们希望我们的工作为从业者提供了简单而有效的基线，以开发有效的语义细分模型。
translated by 谷歌翻译
当通过模拟量化训练神经网络时，我们观察到，量化的权重可以意外地在两个网格点之间振荡。这种效果的重要性及其对量化感知培训（QAT）的影响并未在文献中得到充分理解或研究。在本文中，我们更深入地研究了重量振荡现象，并表明由于推理过程中错误估计的批次纳入统计量和训练期间的噪声增加，它可能导致明显的准确性降解。这些效果在低位（$ \ leq $ 4位）的高效网络中尤其明显，具有深度可分开的层，例如mobilenets和效率网络。在我们的分析中，我们研究了一些先前提出的QAT算法，并表明其中大多数无法克服振荡。最后，我们提出了两种新型的QAT算法来克服训练期间的振荡：振荡衰减和迭代重量冻结。我们证明，我们的算法对于低位（3＆4位）的重量（3＆4位）的最新精度以及有效体系结构的激活量化，例如MobilenetV2，MobilenetV3和Imagenet上的EfficentNet-Lite。我们的源代码可在{https://github.com/qualcomm-ai-research/oscillations-qat}上获得。
translated by 谷歌翻译